深度残差收缩网络：借助注意力机制实现特征的软阈值化

©PaperWeekly 原创 · 作者｜赵明航

单位｜哈尔滨工业大学（威海）讲师

研究方向｜智能运维

本文解读了一种新的深度注意力算法，即深度残差收缩网络（Deep Residual Shrinkage Network）。

从功能上讲，深度残差收缩网络是一种面向强噪声或者高度冗余数据的特征学习方法。本文首先回顾了相关基础知识，然后介绍了深度残差收缩网络的动机和具体实现，希望对大家有所帮助。

论文标题：Deep Residual Shrinkage Networks for Fault Diagnosis

论文链接：https://www.paperweekly.site/papers/3397

代码链接：https://github.com/zhao62/Deep-Residual-Shrinkage-Networks

相关基础

深度残差收缩网络主要建立在三个部分的基础之上：深度残差网络、软阈值函数和注意力机制。

1.1 深度残差网络

深度残差网络无疑是近年来最成功的深度学习算法之一，在谷歌学术上的引用已经突破四万次。相较于普通的卷积神经网络，深度残差网络采用跨层恒等路径的方式，缓解了深层网络的训练难度。

深度残差网络的主干部分是由很多残差模块堆叠而成的，其中一种常见的残差模块如下图所示。

1.2 软阈值函数

软阈值函数是大部分降噪方法的核心步骤。首先，我们需要设置一个正数阈值。该阈值不能太大，即不能大于输入数据绝对值的最大值，否则输出会全部为零。

然后，软阈值函数会将绝对值低于这个阈值的输入数据设置为零，并且将绝对值大于这个阈值的输入数据也朝着零收缩，其输入与输出的关系如下图 (a) 所示。

软阈值函数的输出 y 对输入 x 的导数如上图 (b) 所示。我们可以发现，其导数要么取值为 0，要么取值为 1。从这个角度看的话，软阈值函数和 ReLU 激活函数有一定的相似之处，也有利于深度学习算法训练时梯度的反向传播。

值得注意的是，阈值的选取对软阈值函数的结果有着直接的影响，至今仍是一个难题。

1.3注意力机制

注意力机制是近年来深度学习领域的超级研究热点，而 Squeeze-and-Excitation Network （SENet）则是最为经典的注意力算法之一。

如下图所示，SENet 通过一个小型网络学习得到一组权值系数，用于各个特征通道的加权。这其实是一种注意力机制：首先评估各个特征通道的重要程度，然后根据其重要程度赋予各个特征通道合适的权重。

如下图所示，SENet 可以与残差模块集成在一起。在这种模式下，由于跨层恒等路径的存在，SENet 可以更容易得到训练。另外，值得指出的是，每个样本的权值系数都是根据其自身设置的；也就是说，每个样本都可以有自己独特的一组权值系数。

深度残差收缩网络

接下来，本部分针对深度残差收缩网络的动机、实现、优势和验证，分别展开了介绍。

2.1 动机

首先，大部分现实世界中的数据，包括图片、语音或者振动，都或多或少地含有噪声或者冗余信息。

从广义上讲，在一个样本里面，任何与当前模式识别任务无关的信息，都可以被认为是噪声或者冗余信息。这些噪声或者冗余信息很可能会对当前的模式识别任务造成不利的影响。

其次，对于任意的两个样本，它们的噪声或冗余含量经常是不同的。换言之，有些样本所含的噪声或冗余要多一些，有些要少一些。这就要求我们在设计算法的时候，应该使算法具备根据每个样本的特点、单独设置相关参数的能力。

在上述两点的驱动下，我们能不能将传统信号降噪算法中的软阈值函数引入深度残差网络之中呢？软阈值函数中的阈值应该怎样选取呢？深度残差收缩网络就给出了一种答案。

2.2 实现

深度残差收缩网络融合了深度残差网络、SENet 和软阈值函数。如下图所示，深度残差收缩网络就是将残差模式下的 SENet 中的“重新加权”替换成了“软阈值化”。

在 SENet 中，所嵌入的小型网络是用于获取一组权值系数；在深度残差收缩网络中，该小型网络则是用于获取一组阈值。

为了获得合适的阈值，相较于原始的 SENet，深度残差收缩网络里面的小型网络的结构也进行了调整。具体而言，该小型网络所输出的阈值，是（各个特征通道的绝对值的平均值）×（一组 0 和 1 之间的系数）。

通过这种方式，深度残差收缩网络不仅确保了所有阈值都为正数，而且阈值不会太大（不会使所有输出都为 0）。

如下图所示，深度残差收缩网络的整体结构与普通的深度残差网络是一致的，包含了输入层、刚开始的卷积层、一系列的基本模块以及最后的全局均值池化和全连接输出层等。

2.3 优势

首先，软阈值函数所需要的阈值，是通过一个小型网络自动设置的，避免了人工设置阈值所需要的专业知识。

然后，深度残差收缩网络确保了软阈值函数的阈值为正数，而且在合适的取值范围之内，避免了输出全部为零的情况。

同时，每个样本都有自己独特的一组阈值，使得深度残差收缩网络适用于各个样本的噪声含量不同的情况。

结论

由于噪声或者冗余信息是无处不在的，深度残差收缩网络，或者说这种“注意力机制”+“软阈值函数”的思路，或许有着广阔的拓展空间和应用范围。

点击以下标题查看更多往期内容： 

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。